查看原文
其他

《数据治理标准化白皮书》核心精要

歪老师 数据学堂 2022-11-08
数据治理是释放数据要素价值的基础和前提,是数据要素资源优质供给的核心保障。

近年来,提升数据治理能力成为政府和企业关注的重点,数据治理通过多样化的手段激活与释放数据要素价值,成为从数据资源到生产要素的重要一环。


01 数据治理概念定义

GB/T 35295-2017《信息技术 大数据 术语》将数据治理定义为对数据进行处置、格式化和规范化的过程。认为数据治理是数据和数据系统管理的基本要素,数据治理涉及数据全生存周期管理,无论数据是处于静态、动态、未完成状态还是交易状态。

GB/T 34960.5-2018《信息技术服务 治理 第 5 部分:数据治理规范》中将数据治理定义为数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。

国际数据治理研究所(DGI)的数据治理框架中,数据治理是指行使数据相关事务的决策权和职权。而更加具体的定义则认为数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)(Where)下,用什么方法(How),采取什么行动(What)。

国际数据管理协会(DAMA)认为数据治理是建立在数据管理基础上的一种高阶管理活动,是各类数据管理的核心,指导所有其他数据管理功能的执行,在DMBOK2.0 中数据治理是指对数据资产管理行使权力、控制和共享决策(规划、监测和执行)的系列活动。

《数据资产管理实践白皮书(4.0 版)》中数据资产管理是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。

《数据治理标准化白皮书》采纳广义的数据治理概念,即通过法律法规、管理制度、标准规范、技术工具等一系列手段,面向个人数据、企业数据、政府数据、公共数据等不同类型数据对象全生命周期开展有效的管控,以满足企业管理、行业监管、国家治理、国际协作等场景下数据应用的要求。


02 数据治理标准化的意义和作用

在《国家标准化发展纲要》中指出“标准是经济活动和社会发展的技术支撑,是国家基础性制度的重要方面。标准化在推进国家治理体系和治理能力现代化中发挥着基础性、引领性作用。

同样,数据治理工作也迫切需要加强标准化工作,数据治理标准化工作是破除管理困境、提高数据质量、释放数据价值的关键所在,一系列的政策、法律、愿景、规划需要转化为制度和标准才利于落地见效,数据治理标准化在各层面都具有重要意义。

在国家层面,数据治理标准化工作得到了高度重视,一方面将数据治理标准化作为新一代信息技术体系构建的重要环节,另一方面利用数据治理领域的标准化工作为标准化基础理论研究提供新思路、新方法。在《2021 年全国标准化工作要点》中明确指出加快推进数据安全、个人信息保护、智能汽车数据采集等重点领域国家标准的制定,完善新一代信息技术体系建设,同时紧跟数字化等新技术在标准化活动中的应用。

在产业层面,数据治理标准化是大数据产业高质量发展的核心领域,为响应市场需求、规范产业发展、提高产业服务质量、引导产品升级、促进技术创新提供支撑,是衡量数据治理产业发展水平和成熟度的关键标志,也是抢占产业发展主导权和话语权的关键手段。

在组织层面,数据治理标准化是政府、企业等机构进行数据资产管理的关键突破口和务实手段。数据治理标准化工作既有利于建立健全各种数据管理的工作机制、完善业务流程,又有利于提升数据质量、激活数据服务创新、保障数据安全合规使用,可以提高各类机构的数据管理水平,促进管理创新和技术创新,提升经济效益和社会效益。


03 数据治理的范围和原则

1、数据治理的范围
数据治理工作是在国际协作、国家治理、行业监督和企业管理中,为了提升数据的质量、降低数据管理成本、保障数据安全和管控数据风险,针对公共数据、政府数据、企业数据和个人数据的采集、存储、应用和流通等一系列环节,利用各种工具方法进行有效管理,主要包括法律法规、行业标准、企业制度、技术工具等。

数据治理是带有强烈目的的实践活动,以数据为核心对象,涉及政府、企业、个人等各类参与主体,覆盖数据全生命周期中的各种过程和状态,利用手段和活动释放、保护数据的价值。为明确数据治理的范围,利用数据治理“4W1H”模型进行说明,如下图所示。


遵循数据治理的概念内涵及标准化的自身含义,数据治理标准化是以数据为标准化对象,为政府、企业、个人提供服务,规范各环节活动、平台工具使用、安全保护措施、数据交易流通,保障各类数据全生命周期的有序运转,促进数据治理的愿景、规划、决策、要求转变为行动、能力和优势。

2、数据治理的原则

战略重视、组织保障。规划数据治理中长期路线图、明确职责分工、建立数据治理组织架构,监督各项任务执行情况、解决组织间矛盾及冲突、及时调整规划内容。

责任共担、协调配合。明确各部门的职责及任务,制定工作原则,明确各自任务及边界,建立配合机制,共同确保数据治理整体任务的实现和目标的达成。

业务驱动、问题导向。基于业务活动中发现的数据不标准、不一致、不准确、不可信、用数困难等问题,通过业务驱动开展计划、控制、开发、运营等数据治理活动,并通过数据治理考核机制来监督落实。

流程嵌入、实用落地。数据治理是管理、业务、技术三位一体的系统工程,将数据治理的活动、工具、输入输出物、人员角色等嵌入到管理、业务、技术的关键流程中,并达成用户体验好、自动化程度高、简单适用的成效。

服务导向、量化评价。以服务为核心理念,为数据应用提供可用、可信的高质量数据,满足数据需求、赋能业务发展。设置量化指标评价数据治理的工作成效,反映数据治理存在的成绩和不足,提出针对性改进优化措施。


04 典型数据标准介绍

1、GB/T 34960.5-2018

GB/T 34960.5-2018《信息技术服务 治理 第 5 部分:数据治理规范》中,为了促进组织有效、高效、合理地利用数据,有必要在数据获取、存储、整合、分析、应用、呈现、归档和销毁过程中,提出数据治理的相关规范,规定了数据治理的顶层设计、数据治理环境、数据治理域及数据治理过程的要求,从而实现运营合规、风险可控和价值实现的目标。数据治理是指数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。

2、GB/T 36073-2018
GB/T 36073-2018《数据管理能力成熟度评估模型》给出了数据管理能力成熟度评估模型以及相应的成熟度等级,适用于组织和机构对内部数据管理能力成熟度进行评估。数据管理能力划分为数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期等 8 个能力域,该标准经过 2020年的试点评估之后,已经取得了广泛的关注和扎实的成绩,为企业的数据管理能力提升提供了重要路径和关键手段。

3、ISO/IEC 38500 系列标准
ISO/IEC 38500:2015《信息技术 组织的 IT 治理》为组织治理机构(包括所有者、董事、合作伙伴、执行经理或类似人员)的成员提供了关于在其组织内有效、高效和可接受的信息技术(IT)使用的指导原则。适用于各类型组织当前和未来 IT 使用的治理,包括与当前和未来 IT 使用相关的管理过程和决策。这些过程可以由组织内的 IT 专家、外部服务提供者或组织内的业务单位控制。

ISO/IEC 38505-1:2017 《IT 治理 数据治理 第 1 部分:ISO/IEC 38500 在数据治理中的应用》利用 ISO/IEC 38500 中的治理原则和模式,为组织管理机构(包括业主、董事、合作伙伴、执行经理或类似人员)的成员提供指导原则,指导他们如何有效、高效和可接受地使用组织内的数据。

ISO / IEC TR 38505 - 2:2018 《信息技术 IT 治理 数据治理 第 2 部 分:ISO/IEC 38505-1 对数据管理的影响》用于确保组织内的管理机构和执行团队间的沟通,保证数据的使用与管理机构制定的战略方向保持一致。

ISO/IEC 38505-1:2017 旨在为治理主体提供原则、定义及模型,帮助治理主体评估、知道和监督其数据利用过程,ISO / IEC TR 38505 - 2:2018 旨在为组织的治理主体和管理者建立关联,确保数据管理活动符合组织的数据治理战略。

4、ITU-T 系列标准
ITU-T F.743.21《数据资产管理框架》定义了数据资产的基本概念,梳理了数据资产管理的需求并提出数据资产管理的框架。据资产管理一般通过活动职能和保障措施两方面实现,活动职能涉及元数据管理、主数据管理、数据标准管理、数据质量管理、数据模型管理、数据安全管理、数据价值管理、数据共享管理等,保障措施指的是支持活动职能实现的辅助性组织架构和制度体系。

ITU-T F.743.20《大数据基础设施评测框架》定义了大数据基础平台的各项技术能力,以及大数据平台的整体架构及服务方式,覆盖了数据接入、数据存储、数据处理、数据应用、资源运维等大数据业务全生命周期。该标准可有效评价大数据基础设施的功能、性能、服务等能力,为产品选型、实施、运维提供指导和支持,同时还可以促进技术和
产品的设计开发。

上述两项国际标准是由中国信通院联合我国多家企业在 ITU-T SG16 提出的,ITU-T SG16 是国际电信联盟非常活跃的研究组,主要研究领域覆盖了视频音频处理与压缩编码、视频监控、内容分发、大数据、区块链、人工智能等众多热点标准化研究方向。


05 数据治理标准化工作的需求和挑战

数据治理标准化是政府和企业实施数据治理的核心活动和首要工作,可以发挥出降低治理的复杂度、提升数据质量、打通数据孤岛、加快数据交换共享、释放数据价值等关键作用。

对标准化工作的需求来自数据治理的各个方面,包括数据架构、数据采集、数据存储、数据流通、元数据管理、数据分析应用、数据全生命周期管理、数据安全、数据质量等一系列需求。

在推进数据标准化工作的过程中政府和企业面临了众多困难,主要有几个方面的挑战:
  • 存量系统包袱化解难。政府和企业已建有大量历史系统的情况下,已按照原有的技术标准和管理习惯长时间运转,数据标准化不仅要完成文本的编制,更要考虑新标准实施后对现有业务的影响,包括业务稳定性、系统改造、系统更换等。

  • 标准建立共识形成难。数据治理和数据标准化工作中,业务部门参与度不高,不论是标准制定还是标准实施,都难以形成广泛、明确的共识,导致数据标准的研制效率低、可用性差。

  • 标准落地运转见效难。数据标准体系的建立和维护工作牵涉面广、运行周期长、见效慢,一套完整度高、可用性强的数据标准体系需要进行长期投入,通常会遇到管理动力不足,影响数据标准管理工作的持续性开展等不利情况。



06 数据治理标准体系框架

数据治理标准体系包括基础共性、数据基础设施、数据资产管理、数据流通、数据安全 5 个方面,如下图所示。


1、基础共性标准
基础共性标准主要用于统一数据治理相关概念,为标准体系其他部分的建设提供支撑和参考,包括术语、参考架构、通用要求、评测评估。
  • 术语包括数据基础设施、数据资产管理、数据流通、数据安全等主要概念定义、分类等。
  • 参考架构包含数据治理体系的整体架构以及数据基础设施、数据资产管理、数据流通、数据安全的参考架构。
  • 通用要求主要规范数据基础设施、数据资产管理、数据流通、数据安全的通用要求,包括功能、性能、管理、过程等方面。
  • 评测评估主要规范数据基础设施、数据资产管理、数据流通、数据安全等方面相关的评测评估指标和方法。

2、数据基础设施
数据基础设施标准主要用于规范数据治理工作涉及到的平台、工具、软件系统等,为数据资产管理、数据流通、数据安全提供技术支撑,包括数据库、大数据平台、数据资产管理、数据分析挖掘、数据流通、数据安全。
  • 数据库标准包括事务型数据库、分析型数据库、时序数据库、图数据库等。
  • 大数据平台标准包括数据采集、数据存储、数据分析、数据开发等。
  • 数据资产管理包括数据标准、数据质量、数据架构、数据共享、数据价值评估等。
  • 数据分析挖掘标准包括数据挖掘、报表工具、数据可视化等。
  • 数据流通标准包括隐私计算等.
  • 数据安全标准包括脱敏加密、数据防泄漏、数据库网关、数据水印、数据安全分类分级、安全审计等。

3、数据资产管理
数据资产管理标准主要针对组织的核心数据资源进行管理、共享、应用和价值评估,包括基础数据、主数据、元数据、数据质量、数据架构、数据开发、数据应用、数据共享、数据价值评估。
  • 基础数据是针对交易数据、指标数据、参考数据、标签数据、数据元进行规范和定义。
  • 主数据包括:主数据分类代码、主数据属性定义、主数据集成、机构主数据、物料主数据、财务主数据等。
  • 元数据包括:元模型、元数据采集、元数据注册、元数据应用、元数据服务等。
  • 数据质量标准包括数据质量维度、数据质量评价指标、数据质量分析、数据质量提升等。
  • 数据架构包括数据分类、主题模型、概念模型、逻辑模型、数据分布、数据流向等。
  • 数据开发包括数据建模方法、数据开发过程要求等。
  • 数据应用包括数据服务开发、数据产品设计规范、数据应用效果评价等。
  • 数据共享包括数据共享技术规范(接口)、共享数据质量要求、数据共享评价指标体系。
  • 数据运营包括数据资产目录、数据价值链、数据流通监测(内外部)、数据服务/产品运营。
  • 数据价值评估包括数据价值评估体系、评估方法。

4、数据流通
数据流通标准主要对跨组织的数据开放、交易、跨境进行规范和约束,保证数据在数据供应方和数据需求方之间的流通合规有序。
  • 数据开放包括数据开放原则、数据开放目录、开放数据质量、开放数据安全、数据开放监管等。
  • 数据交易包括数据提供方管理、数据需求方管理、数据交易服务、数据交易定价、数据交易权属、数据交易规则等。
  • 数据跨境包括数据跨境原则、跨境数据类型、数据跨境渠道、跨境数据安全、数据跨境监管、数据跨境风险评估等。

5、数据安全
数据安全标准主要用于规范数据资产的管理、应用、共享、开放等环节合法、合规,并确保数据始终得到有效保护。
  • 通用安全包括数据分类分级、监控审计、鉴别与访问、风险和需求分析、安全事件响应、隐私保护等。
  • 全生命周期数据安全对采集、传输、存储、使用、共享、交换、销毁/退役等全生命周期各环节的数据安全进行规范。


07 数据治理标准化体系运行机制

数据治理标准化体系的构建和运转有赖于一套完整的运行机制作为保障,政府或企业等各类主体在实施数据治理标准化工作时,为保证标准化工作的顺利展 开,需要执行以下四项工作。

1、设立数据标准化工作机构
数据标准化工作是一项整体性活动,设立工作机构是系统、全面、可持续开展数据标准化和数据治理的基础和保障。

数据标准化机构的设立需要得到高层管理者的重视和支撑,既可以单独常设数据标准化管理委员会、标准化技术委员会和标准化部门,也可以依托数据管理的组织架构开展数据标准化工作,从而保障数据标准化工作在组织机构上形成一个完整的工作体系。

2、提供数据标准化保障措施
数据标准的预研、制定、实施、监督检查等一系列工作是一项费时费力的工作,需要决策层的支持和各部门的通力配合,需要经费、人员、设备等资源为数据治理标准体系的运行提供保障。

在经费方面,可设立经常性经费预算和专项经费预算分别保障日常工作和重点项目、重大工程的顺利开展。在人员方面,设立专职、兼职的数据标准化岗位或角色,提供职业晋升和技能培训。

3、实行数据标准制修订管理
数据标准的制修订是数据治理标准化工作的核心活动,是实现标准化体系运行的关键环节,主要活动包括预研、立项、起草、征求意见、技术审查、报批、批准发布、实施、评价、复审等。

数据标准制修订管理工作不仅会影响经费执行、标准研制、人员职责落实,还会影响到数据需求响应、重点项目落地、技术创新等,是政府和企业提高数据治理水平的重要途径。

4、强化标准实施和监督
数据标准制定结束后,标准实施成为标准化活动中最重要的一环,也成为数据治理工作的中心任务,并监督数据标准能否取得成效、实现其预定目的。

通过制定数据标准实施检查计划、检查方案,定期评价数据标准的贯彻落实情况,防止和避免数据标准制定和应用脱节的情况发生。

(本文摘录自《《数据治理标准化白皮书》》)

PS:点击文末左下角阅读原文获取更多数据治理干货内容!

<END>


大家都在看:
1、大数据能力平台建设方案(PPT)
2、数据治理运营整体解决方案(PPT)3、华为数字化转型:从战略到执行(PPT)4、3个案例看数据分类分级如何落地应用5、什么是数据标准?如何做好数据标准管理落地?6、9000字详解企业大数据项目规划落地实施路线图7
30页PPT读懂DAMA-DMBOK2.0数据管理知识体系指南核心精要8湖仓一体架构构建与平台应用实践(PPT)
9、8000字详解银行业数据治理架构体系搭建10、数据资产目录建设方案11、阿里数据中台OneData体系建设方案(PPT)12、德勤:集团主数据管理方法论(PPT)13、企业大数据平台顶层规划设计方案(PPT)14、美的集团数字化转型案例分享(PPT)15、
9000字详解用户画像标签体系建设指南



数据学堂


欢迎扫码添加歪老师个人微信(data-school),邀请加入数据学堂数据治理专业微信群,与业内大咖一起识数据、存数据、管数据、治数据、用数据!


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存